18.065 Lecture 4

课程主页：https://ocw.mit.edu/courses/mathematics/18-065-matrix-methods-in-data-analysis-signal-processing-and-machine-learning-spring-2018/index.htm

这一讲的主题是Eigenvalues and Eigenvectors。

假设$A\in \mathbb R^{n\times n}$，后续讨论中都假设$A$有$n$个线性无关的特征向量。

基本内容

矩阵的特征值满足

$$Ax_i =\lambda_i x_i ,i=1,\ldots, n$$

那么不难得到

$$\begin{aligned} A^kx_i & =\lambda_i^k x_i\\ A^{-1} x& =\frac 1 \lambda_i x_i &&如果A可逆 \end{aligned}$$

对于一般的向量$v$，$v$可以表示为

$$v=\sum_{i=1}^n c_i x_i$$

那么

$$A^{k}v = \sum_{i=1}^n c_i \lambda_i^k x_i$$

如果记

$$v_k = \sum_{i=1}^n c_i \lambda_i^k x_i$$

那么$v_k$满足差分方程

$$v_{k+1} =Av_k$$

对于微分方程

$$\frac{dv}{dt} = Av$$

不难得出其解为

$$v=\sum_{i=1}^n c_i e^{\lambda_i t} x_i$$

相似

我们称矩阵$A,B$相似，如果

$$B=M^{-1}AM$$

注意到如果

$$By=M^{-1}AM y =\lambda y$$

那么

$$A(M y) =\lambda (My)$$

所以相似矩阵的特征值相同。

如果$B$可逆，那么有

$$BA=B(AB)B^{-1}$$

所以$AB$和$BA$的特征值相同。

特征值

实矩阵的特征值可能为复数：

$$A= \left[ \begin{matrix} 0 & 1 \\ -1 & 0 \end{matrix} \right]$$

求解

$$\det (A-\lambda I) = \lambda^2 +1 =0$$

得到

$$\begin{aligned} \lambda_1 &= i\\ \lambda_2 &=- i \end{aligned}$$

注意到我们有

$$\begin{aligned} \lambda_1 +\lambda_2 &= 0 =\text{trace}(A)\\ \lambda_1 \lambda_2 & =\det(A) \end{aligned}$$

上述事实对任意阶矩阵都成立。

对称矩阵

对称矩阵的特征值都为实数，并且特征向量正交，考虑如下例子：

$$S=\left[ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} \right]$$

求解

$$\det (S-\lambda I) = \lambda^2 -1 =0$$

得到

$$\begin{aligned} \lambda_1 &= 1\\ \lambda_2 &=- 1 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 & = \left[ \begin{matrix} 1 \\ 1 \end{matrix} \right] \\ x_2 & = \left[ \begin{matrix} 1 \\ -1 \end{matrix} \right] \end{aligned}$$

记

$$M= \left[ \begin{matrix} x_1 &x_2 \end{matrix} \right] = \left[ \begin{matrix} 1 & 1\\ 1& -1 \end{matrix} \right]$$

那么

$$M^{-1}SM=\left[ \begin{matrix} 1 &0\\ 0& -1 \end{matrix} \right]$$

对于$n$阶矩阵，如果相似于对角阵，即

$$\begin{aligned} A \left[ \begin{matrix} x_1 & \ldots &x_n \end{matrix} \right] &=\left[ \begin{matrix} x_1 & \ldots &x_n \end{matrix} \right] \left[ \begin{matrix} \lambda_1 & & \\ & \ddots & \\ && \lambda_n \end{matrix} \right]\\ AX&= X\Lambda \\ A&= X\Lambda X^{-1} \end{aligned}$$

那么

$$A^K= X\left[ \begin{matrix} \lambda_1^k & & \\ & \ddots & \\ && \lambda_n^k \end{matrix} \right]X ^{-1}$$

注意到实对称矩阵一定满足上述性质，并且

$$S=Q\Lambda Q^{-1}=Q\Lambda Q^{T}$$

习题

2

令

$$\begin{aligned} \det (A-\lambda I) &=\left[ \begin{array}{ll}{-\lambda} & {2} \\ {1} & {1-\lambda}\end{array}\right] \\ &=\lambda^2 -\lambda - 2\\ &=0 \end{aligned}$$

得到

$$\begin{aligned} \lambda_1 &=2\\ \lambda_2 &= -1 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 &= \left[\begin{array}{ll} 1\\1 \end{array}\right]\\ x_2 &=\left[\begin{array}{ll} 2\\-1 \end{array}\right] \end{aligned}$$

由性质可得$A^{-1}$的特征值为

$$\begin{aligned} \lambda_1 &=\frac 12\\ \lambda_2 &= -1 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 &= \left[\begin{array}{ll} 1\\1 \end{array}\right]\\ x_2 &=\left[\begin{array}{ll} 2\\-1 \end{array}\right] \end{aligned}$$

1

因为

$$\det A= \det A^T$$

所以

$$\det (A-\lambda I)=\det (A^T-\lambda I)$$

因此$A$和$A^T$的特征值相同。

考虑上一题的例子，即

$$A=\left[ \begin{array}{ll}{0} & {2} \\ {1} & {1}\end{array}\right]$$

那么

$$A^T=\left[ \begin{array}{ll}{0} & {1} \\ {2} & {1}\end{array}\right]$$

其特征值为

$$\begin{aligned} \lambda_1 &=2\\ \lambda_2 &= -1 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 &= \left[\begin{array}{ll} 1\\2 \end{array}\right]\\ x_2 &=\left[\begin{array}{ll} 1\\-1 \end{array}\right] \end{aligned}$$

所以$A$和$A^T$的特征向量不同。

15

(a)如果

$$A=\left[ \begin{array}{ll}{1} & {2} \\ {0} & {3}\end{array}\right]$$

其特征值为

$$\begin{aligned} \lambda_1 &=1\\ \lambda_2 &= 3 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 &= \left[\begin{array}{ll} 1\\0 \end{array}\right]\\ x_2 &=\left[\begin{array}{ll} 1\\1 \end{array}\right] \end{aligned}$$

所以

$$X=\left[\begin{array}{ll} 1 & 1\\0 &1 \end{array}\right], \Lambda =\left[\begin{array}{ll} 1 & 0\\0 &3 \end{array}\right]$$

如果

$$A=\left[ \begin{array}{ll}{1} & {1} \\ {3} & {3}\end{array}\right]$$

其特征值为

$$\begin{aligned} \lambda_1 &=0\\ \lambda_2 &= 4 \end{aligned}$$

对应的特征向量为

$$\begin{aligned} x_1 &= \left[\begin{array}{ll} 1\\-1 \end{array}\right]\\ x_2 &=\left[\begin{array}{ll} 1\\3 \end{array}\right] \end{aligned}$$

所以

$$X=\left[\begin{array}{ll} 1 & 1\\-1 &3 \end{array}\right], \Lambda =\left[\begin{array}{ll} 0 & 0\\0 &4 \end{array}\right]$$

(b)

$$\begin{aligned} A^3&=X\Lambda^3 X^{-1} \\ A^{-1}& =X\Lambda^{-1}X^{-1} \end{aligned}$$